SPARCL: Spectral Partitioned Analytic Continual Learning
SPARCL:谱分区解析持续学习
🧭 持续学习 · 谱分解冻结核心子空间
University of Sheffield
识别解析持续学习中的谱干扰问题,通过冻结高能核心子空间并在残差块上递归最小二乘更新,实现闭环解与旧类 logits 核心贡献不变性
📌 工作参考价值(4 点)
- 在推荐/广告模型的增量更新中,可对特征自相关矩阵做谱分解,冻结高能量方向(对应用户主流兴趣、物品核心属性),仅在残差子空间用递归最小二乘(RLS)更新,减少对旧知识干扰。
- 用 RLS 闭式解替代梯度下降做在线更新,计算快且无需存储旧样本,适合高吞吐实时场景(如新物品冷启动、新活动不断上线)。
- 残差随机投影扩展为每个新任务/新产品增加轻量子空间,不干扰核心部分,可作为类似 LoRA 的模块化扩展策略。
- 注意:本文针对分类任务,推荐系统直接迁移需改造,但“谱分区+冻结核心+残差更新”的架构思想值得借鉴。